分布式文件系统HDFS中对文件/目录的相关操作代码，整理了一下，大概包括以下部分： 文件夹的新建、删除、重命名 文件夹中子文件和目录的统计 文件的新建及显示文件内容 文件在loca ...

执行hadoop任务时报错： 产生原因： 以上报错原因基本都是由于HDFS上的文件异常结束导致的，通过查看log，发现/flume/nginx/app1/2019-06-05/00/ ...

一、问题背景 考虑到 Hadoop 3.0.0 的新特性 EC 码，HDFS 在存储数据时能获得很好的压缩比，同时 Hadoop 2.6.0 集群 HDFS 存储压力较大，我们将 Hadoop 2. ...

一、定时删除linux上定时的文件 二、定时删除HDFS上过时的文件 思路：获取文件或目录的修改时间，与设定的过期时间进行比较，对过期文件执行删除操作即可。 【 ...